生成价值一致行为的重大挑战之一不仅是考虑指定的用户目标,还包括任何隐式或未指定的用户要求。这种隐式要求的存在可能在用户对任务模型的理解可能与代理商的模型中不同的设置中尤为普遍。在这种情况下,用户可能会错误地期望某些代理行为是不可避免的或保证的。本文通过捕获未指定的用户子目标的可能性在捕获作为马尔可夫决策过程(MDP)并根据需要查询的任务中捕获未指定的用户子目标的可能性来解决这种期望不匹配。我们的方法识别瓶颈状态,并将其用作候选潜在的隐式子目标。然后,我们引入了一种查询策略,该策略将产生确定实现基本目标的政策挑战所需的最少查询数量。我们的经验评估证明了我们方法在推断和实现各种任务中未阐明的目标方面的有效性。